변수 변환, 역변환
알려진 분포가 매우 많은 것처럼 보일 수 있지만, 실제로 우리가 이름을 붙인 분포의 집합은 상당히 제한적이다. 따라서, 변환된 확률 변수가 어떻게 분포하는지 이해하는 것은 종종 유용하다. 예를 들어, $X$ 가 일변량 정규 분포 $\mathcal{N}(0, 1)$ 에 따라 분포하는 확률 변수라고 가정할 때, $X^2$ 의 분포는 무엇인가? 기계 학습에서 꽤 흔한 또 다른 예로, $X_1$ 과 $X_2$ 가 일변량 표준 정규 분포가 주어졌을 때, $\frac{1}{2}(X_1 + X_2)$ 의 분포는 무엇인가?
$\quad$ $\frac{1}{2}(X_1 + X_2)$ 의 분포를 알아내는 한 가지 옵션은 $X_1$ 과 $X_2$ 의 평균과 분산을 계산한 다음 결합하는 것이다. 6.4.4절에서 보았듯이, 우리는 확률 변수의 아핀 변환(affine transformations)을 고려할 때 결과 확률 변수의 평균과 분산을 계산할 수 있다. 그러나 변환 하에서 분포의 함수적 형태(functional form)는 얻지 못할 수도 있다. 게다가, 우리는 닫힌 형태(closed-form)의 표현식을 쉽게 얻을 수 없는 확률 변수의 비선형 변환(nonlinear transformations)에 관심이 있을 수 있다.
주목 (표기법). 이 섹션에서 우리는 확률 변수와 그것들이 취하는 값을 명확히 구분할 것이다. 따라서 확률 변수를 나타내기 위해 대문자 $X, Y$ 를 사용하고, 확률 변수가 취하는 타겟 공간 $\mathcal{T}$ 내의 값을 나타내기 위해 소문자 $x, y$ 를 사용함을 상기하라. 우리는 이산 확률 변수 $X$ 의 확률 질량 함수(pmf)를 $P(X = x)$ 로 명시적으로 쓸 것이다. 연속 확률 변수 $X$ (6.2.2절)의 경우, 확률 밀도 함수(pdf)는 $f(x)$ 로, 누적 분포 함수(cdf)는 $F_X(x)$ 로 쓴다. $\diamond$
$\quad$ 우리는 확률 변수의 변환된 분포를 얻기 위한 두 가지 접근법을 살펴볼 것이다: 누적 분포 함수의 정의를 사용하는 직접적인 접근법(direct approach)과 미적분학의 연쇄 법칙(chain rule, 5.2.2절)을 사용하는 변수 변환 접근법(change-of-variable approach)이다. 변수 변환 접근법은 변환으로 인한 결과 분포를 계산하기 위한 “레시피”를 제공하기 때문에 널리 사용된다. 우리는 일변량 확률 변수에 대한 기술을 설명하고, 다변량 확률 변수의 일반적인 경우에 대한 결과는 간략하게만 제공할 것이다.
적률 생성 함수(MGF) 또한 확률 변수의 변환을 연구하는 데 사용될 수 있다.
$\quad$ 이산 확률 변수의 변환은 직관적으로 이해할 수 있다. pmf $P(X = x)$ 를 가진 이산 확률 변수 $X$ 와 역행 가능한(invertible) 함수 $U(x)$ 가 있다고 가정하자. 변환된 확률 변수 $Y := U(X)$ 와 그 pmf $P(Y = y)$ 를 고려하자. 그러면
여기서 우리는 $x = U^{-1}(y)$ 임을 관찰할 수 있다. 따라서 이산 확률 변수의 경우, 변환은 개별 사건들을 (그 확률들이 적절히 변환된 상태로) 직접적으로 변경한다.
_어떤 이산 확률 변수 $X$ 가 가질 수 있는 수는 10과 20이고, 각 확률은 0.7, 0.3이라고 해보자.
이때 변환 함수 $U(x)$ 를 다음과 같이 정의한다.
이의 역함수 $U^{-1}(y)$ 를 구하여 $Y$ 의 결과값을 보고 원래 $X$ 가 무엇이었는지 알 수 있다.
이때 만약 확률 변수 $Y$ 가 $45$ 를 뱉을 확률 $P(Y = 45)$ 을 구해보자.
이는 논리적으로 확률 변수 $Y$ 가 45가 되는 사건은, 괄호 안의 식을 만족시키는 확률 변수 $X$ 의 사건과 동일함을 뜻한다. 따라서 이를 $X$ 에 대해 풀어보자.
이는 확률 변수 $Y$ 가 45를 가질 확률은 $X$ 가 20을 가질 확률과 같음을 뜻한다. 또한 우리는 앞서 $P(X = 20) = 0.3$ 로 가정하였다.
이산 확률 변수의 경우에 변환 함수가 가역일 때, 공간을 변환( $Y = 2X + 5$ )한다는 것은 확률값(질량) 자체를 건드리는 것이 아니라, 확률 변수 $X$ 가 20을 가질 확률을 다른 변수( $Y$ )로 매핑(변환)했을 때 확률 변수 $Y$ 가 45를 가질 확률로써 표현한 것일 뿐, 다시 말해 위치만 이동되었을 뿐, 본질적인 의미(확률 질량)는 변하지 않았다._
_만약 변환 함수가 비가역인 경우를 생각해보자. 확률 변수 $X$ 가 가질 수 있는 -2,-1,1,2라는 4개의 숫자들이 동일한 확률을 가진다고 해보자.
이때 변환 함수 $U(X)$ 를 다음과 같이 정의한다.
$Y = U(X) = X^2$
확률 변수 $Y$ 가 가질 수 있는 수는 1과 4뿐이다. 이 중 $Y$ 가 4를 가질 확률 $P(Y=4)$ 를 구해보자.
$X^2 = 4$ 를 만족하는 $X$ 는 -2 또는 2 두 가지이다. 이 두 사건은 배반 사건이므로, 두 확률을 더해주어야 한다.
식 (6.125a,b)는 오직 역함수가 하나만 존재할 때 성립하는 특수한 경우이다. 이러한 비가역적인 경우까지 포괄하는 이산 확률 변수 변환은 다음과 같이 일반화할 수 있다.
이는 확률 변수 $Y$ 가 값 $y$ 를 가질 때, 확률 변수 $x$ 로 그 값 $y$ 를 만들 수 있는 $x$ 에 대한 확률 질량을 모두 더하라는 뜻이다._
_위 예시에서 변환 함수는 하나의 입력에 대해 두 개의 출력으로 추적할 수 있기에 이를 가역(invertible)이라고 생각할 수도 있다.
수학에서 함수 $f(x)$ 의 공리는 하나의 입력값은 반드시 하나의 출력값을 가져야 한다는 것이다. 위 예시에서 정방향 변환 $Y = X^2$ 은 함수의 공리를 만족한다.
이번엔 역함수 $X = U^{-1}(Y)$ 를 보면, 입력으로 4를 넣었을 때 출력은 두 개의 원소를 가질 수 있다.
이것은 수학적으로 ‘함수’라고 부를 수 없고, 정방향 변환(다대일)에 대해 역방향으로 정의되는 (역)변환을 정의할 수 없으므로, 이 변환을 비가역적(non-invertible)이라고 한다._
_우리가 다루기 어려운 경우는 변환 함수가 비가역/비선형인 경우와 확률 변수가 연속적인 경우이다.
6.7.1 Distribution Function Technique
분포 함수 기법
분포 함수 기법은 제1원리로 돌아가서, 누적 분포 함수(cdf)의 정의인 $F_X(x) = P(X \leqslant x)$ 와 그것의 미분값이 확률 밀도 함수(pdf) $f(x)$ 라는 사실을 사용한다 (Wasserman, 2004, 2장). 확률 변수 $X$ 와 함수 $U$ 에 대해, 우리는 변환된 확률 변수 $Y := U(X)$ 의 pdf를 다음 과정을 통해 찾는다.
- cdf 찾기:
- cdf $F_Y(y)$ 를 미분하여 pdf $f(y)$ 얻기:
또한 $U$ 에 의한 변환 때문에 확률 변수의 도메인(domain, 정의역)이 변경되었을 수 있음을 명심해야 한다.
확률 변수의 변환( $X \rightarrow Y$ )으로 공간이 늘어났다면 기울기(미분값)가 완만해져 밀도가 낮게 계산되고, 공간이 압축되었다면 기울기가 가팔라져 밀도가 높게 계산된다.
예제 6.16
$X$ 가 $0 \leqslant x \leqslant 1$ 구간에서 다음 확률 밀도 함수를 가지는 연속 확률 변수라고 하자.
우리는 $Y = X^2$ 의 pdf를 찾는 데 관심이 있다.
$\quad$ 함수 $f$ 는 $x$ 에 대한 증가 함수이므로, 결과값 $y$ 는 구간 $[0, 1]$ 에 놓인다. 우리는 다음을 얻는다.
따라서, $0 \leqslant y \leqslant 1$ 에 대해 $Y$ 의 cdf는 다음과 같다.
pdf를 얻기 위해, 우리는 cdf를 미분한다.
구간은 $0 \leqslant y \leqslant 1$ 이다.
$\quad$ 예제 6.16에서, 우리는 엄격한 단조 증가 함수(strictly monotonically increasing function)인 $f(x) = 3x^2$ 을 고려했다. (역함수를 가지는 함수를 전단사 함수(bijective functions)라고 부른다 ([2.7절]).) 이는 우리가 역함수를 계산할 수 있었음을 의미한다. 일반적으로, 우리는 관심 있는 함수 $y = U(x)$ 가 역함수 $x = U^{-1}(y)$ 를 가질 것을 요구한다. 확률 변수 $X$ 의 누적 분포 함수 $F_X(x)$ 를 고려하고, 이를 변환 함수 $U(x)$ 로 사용함으로써 매우 유용한 결과를 얻을 수 있다. 이는 다음 정리로 이어진다.
정리 6.15. [Casella and Berger (2002)의 정리 2.1.10] $X$ 가 엄격한 단조 누적 분포 함수 $F_X(x)$ 를 가지는 연속 확률 변수라고 하자. 이때 다음과 같이 정의된 확률 변수 $Y$ 는
균등 분포(uniform distribution)를 가진다.
_예제 6.16에서 원본 확률 변수 $X$ 의 누적 분포 함수는 $F_X(x) = \int_0^x 3t^2 dt = x^3$ 이다. 이 cdf의 함수값을 새 확률 변수 $Y$ 로 변환한다면( $Y = X^3$ ), 확률 변수 $Y$ 의 밀도 함수(pdf)가 균등 분포가 나오는지 유도해볼 수 있다.
먼저 $Y$ 의 cdf를 구한 후 $y$ 에 대해 미분하여 $f(y)$ 를 구한다.
부등식을 $X$ 에 대해 표현하기 위해 양변에 세제곱근( $\frac{1}{3}$ 승)을 취한다( $F_X(X)$ 의 치역은 $[0,1]$ 이므로 확률 변수 $Y$ 의 범위도 $0 \le y \le 1$ 이다.)
+ 세제곱근을 취하는 연산에서는 예제 6.16(식 6.129c)과 같이 $X$ 의 정의역이 양수인지 음수인지 고려하지 않아도 된다.
이는 원본 CDF인 $F_X$ 에 $y^{\frac{1}{3}}$ 를 대입한 것과 같다.
$F_X(x) = x^3$ 이므로
즉, $F_Y(y) = y$ 이다.
이 누적 면적을 $y$ 에 대해 미분하여 $Y$ 의 확률 밀도 함수를 구할 수 있다.
확률 변수 $Y$ 는 0 부터 1사이의 모든 구간에서 확률 밀도가 1로 동일한 표준 균등 분포 $\mathcal{U}(0, 1)$ 를 따른다._
$\quad$ 정리 6.15는 확률 적분 변환(probability integral transform)으로 알려져 있으며, 균등 확률 변수에서 샘플링한 결과를 변환하여 원하는 분포로부터 샘플링하는 알고리즘을 유도하는 데 사용된다 (Bishop, 2006). 이 알고리즘은 먼저 균등 분포에서 샘플을 생성한 다음, 이를 역 cdf(이것이 존재한다고 가정할 때)로 변환하여 원하는 분포의 샘플을 얻는 방식으로 작동한다. 확률 적분 변환은 또한 어떤 샘플이 특정 분포에서 나왔는지 가설 검정(hypothesis testing)을 하는 데에도 사용된다 (Lehmann and Romano, 2005). cdf의 출력이 균등 분포를 제공한다는 아이디어는 코풀라(copulas)의 기초를 형성하기도 한다 (Nelsen, 2006).
_컴퓨터 알고리즘이 난수를 생성할 때, 컴퓨터는 하드웨어 구조상 오직 0과 1 사이의 숫자가 동일한 확률로 나오는 ‘표준 균등 분포 $\mathcal{U}(0, 1)$ ‘ 난수만을 만들어낼 수 있다. 그렇다면 가우시안 분포나 지수 분포같은 복잡한 난수는 어떻게 생성하는가?
이는 정리 6.15를 역방향으로 전개하는 과정을 거친다. 먼저 컴퓨터가 균등 분포에서 난수 $u$ 를 하나 생성한 뒤, 우리가 원하는 타겟 분포의 누적 분포 함수 $F_X(x)$ 의 역함수인 $F_X^{-1}$ 를 구한다. 다음 생성된 난수 $u$ 를 역함수에 대입한다.
이 계산을 통해 얻은 결과값 $x$ 는 타겟 분포 $X$ 의 확률 밀도를 따르는 데이터가 된다. 즉, CDF의 역함수는 평평한 난수들을 복잡한 밀도의 형태로 휘게하는 역할을 한다._
_실제 수집된 n개의 데이터 샘플 ${x_1, x_2, \dots, x_n}$ 이 있다고 해보자. 이 데이터들이 특정 정규분포(우리의 가설 $F_X$ )에서 나왔을 것이라고 어떻게 증명할까?
이는 정리 6.15를 정방향으로 활용한다. 수집된 모든 데이터 $x_i$ 를 우리의 가설인 누적 분포 함수 $F_X$ 에 대입하여 새로운 값 $u_i$ 를 만든다.
만일 가설( $F_X$ )이 정답이라면, 정리 6.15에 의해 변환된 데이터 집합 ${u_1, u_2, \dots, u_n}$ 은 0과 1 사이에서 균등 분포를 이루어야 한다.
변환된 $u_i$ 값들이 $0.5$ 근처에 몰려 있거나 특정 구간에 편중되어 있다면, 애초 세운 가설 $F_X$ 가 틀렸음을 확인하는 근거가 된다._
_머신러닝에서 다변수 확률 분포(예: 키 $X_1$ 과 몸무게 $X_2$ 의 결합 분포)를 모델링하는 것은 매우 어렵다. 두 변수의 상관관계와 개별 분포 형태가 복잡하게 얽혀있기 때문이다. 이때 코풀라는 정리 6.15를 이용해 이 문제를 분리하였다.
$X_1$ 은 자신의 CDF인 $F_1$ 에, $X_2$ 는 자신의 CDF인 $F_2$ 에 통과시킨다.
이렇게 하면 $X_1$ 과 $X_2$ 가 원래 정규 분포였든 지수 분포였든 상관없이, $U_1$ 과 $U_2$ 는 모두 완벽하게 평평한 $\mathcal{U}(0, 1)$ 균등 분포로 평탄화된다. 즉, 각 변수의 ‘개별적인 특징’이 소거되기 때문에, 오직 $[0, 1] \times [0, 1]$ 공간 위에서 $U_1$ 과 $U_2$ 가 어떻게 얽혀 있는지(순수 의존성)만을 모델링하면 된다._
6.7.2 Change of Variables
변수 변환
6.7.1절의 분포 함수 기법(distribution function technique)은 cdf의 정의와 역함수, 미분, 적분의 성질을 기반으로 한 제1원리(first principles)에서 유도되었다. 이 제1원리에 입각한 논증은 다음 두 가지 사실에 의존한다:
- 우리는 $Y$ 의 cdf를 $X$ 의 cdf에 대한 수식으로 변환할 수 있다.
- 우리는 cdf를 미분하여 pdf를 얻을 수 있다.
정리 6.16에 나오는 더 일반적인 변수 변환 접근법을 이해하는 것을 목표로, 이 추론 과정을 단계별로 분해해 보자.
주의(Remark). “변수 변환”이라는 이름은 어려운 적분에 직면했을 때 적분 변수를 바꾼다는 아이디어에서 유래했다. (확률에서의 변수 변환은 미적분학의 변수 변환 방법에 의존한다 (Tandra, 2014).) 일변수 함수(univariate functions)의 경우, 우리는 다음의 치환 적분법(substitution rule of integration)을 사용한다.
이 규칙의 유도는 미적분학의 연쇄 법칙(chain rule, 식 5.32)에 기반하며, 미적분학의 기본 정리를 두 번 적용함으로써 이루어진다. 미적분학의 기본 정리는 적분과 미분이 어쨌든 서로 “역산(inverses)”이라는 사실을 공식화한다. 방정식 $u = g(x)$ 에 대한 미세한 변화(미분, differentials)를 (느슨하게) 생각함으로써, 즉 $\Delta u = g’(x)\Delta x$ 를 $u = g(x)$ 의 미분으로 간주함으로써 이 규칙에 대한 직관적인 이해를 얻을 수 있다. $u = g(x)$ 를 대입하면, (6.133)의 우변에 있는 적분 기호 안의 인자는 $f(g(x))$ 가 된다. 항 $du$ 가 $du \approx \Delta u = g’(x)\Delta x$ 로 근사될 수 있고, $dx \approx \Delta x$ 라고 가정함으로써 우리는 (6.133)을 얻는다.
$\quad$ 일변수 확률 변수 $X$ 와 가역 함수 $U$ 를 고려하자. 이는 우리에게 또 다른 확률 변수 $Y = U(X)$ 를 제공한다. 확률 변수 $X$ 가 $x \in [a, b]$ 상태를 가진다고 가정한다. cdf의 정의에 의해, 우리는 다음을 얻는다.
우리는 확률 변수의 함수 $U$ 에 관심이 있다.
여기서 우리는 함수 $U$ 가 가역적이라고 가정한다. 어떤 구간에서 가역적인 함수는 엄격한 단조 증가이거나 엄격한 단조 감소이다. $U$ 가 엄격한 증가 함수인 경우, 그 역함수 $U^{-1}$ 도 엄격한 증가 함수이다. $P(U(X) \leqslant y)$ 의 인자에 역함수 $U^{-1}$ 를 적용하여, 우리는 다음을 얻는다.
_ $U$ 가 단조증가 함수이면 그의 역도 단조증가함수이다. 때문에 양 번에 역을 적용하여도 부등식의 방향이 유지된다. + 이는 로그가 단조증가함수이기 때문에 우도에 로그를 취해도 최적해가 변하지 않는 사실과 관계가 있는가?
(6.136)의 가장 오른쪽 항은 $X$ 의 cdf에 대한 표현식이다. pdf의 관점에서 cdf의 정의를 상기해보자.
이제 우리는 $x$ 에 대한 $Y$ 의 cdf 표현식을 갖게 되었다:
_식 (6.138)을 전개하면 다음과 같다.
이 식에는 변수 $X$ 의 영향이 사라진 즉, 확률 변수 $Y$ 에 대한 cdf이다. 또한 $F_X(a)$ 는 $X$ 이 정의되지 않는 부분부터 $a$ 까지의 확률이므로 0이다._
pdf를 얻기 위해, (6.138)을 $y$ 에 대해 미분한다:
우변의 적분은 $x$ 에 대한 것이지만, 우리는 $y$ 에 대해 미분하고 있기 때문에 $y$ 에 대한 적분이 필요하다. 특히, 치환을 얻기 위해 (6.133)을 사용한다.
(6.139)의 우변에 (6.140)을 사용하면 다음을 얻는다.
그러고 나서 미분은 선형 연산자임을 상기하고, $f_x(U^{-1}(y))$ 가 $y$ 가 아닌 $x$ 의 함수임을 상기시키기 위해 아래첨자 $x$ 를 사용한다. 미적분학의 기본 정리를 다시 호출하면 다음을 얻는다.
우리가 $U$ 가 엄격한 증가 함수라고 가정했음을 상기하라. 감소 함수의 경우, 동일한 유도를 따르면 음의 부호를 갖게 됨이 밝혀진다. 증가하는 $U$ 와 감소하는 $U$ 모두에 대해 동일한 표현식을 갖기 위해 미분값의 절댓값을 도입한다:
이것을 변수 변환 기법(change-of-variable technique) 이라고 부른다. (6.143)의 $\left\vert \frac{d}{dy}U^{-1}(y) \right\vert$ 항은 $U$ 를 적용할 때 단위 부피가 얼마나 변하는지를 측정한다 (5.3절의 자코비안 정의 참조).
주의 (Remark). (6.125b)의 이산적인 경우와 비교할 때, 우리는 추가적인 팩터 $\left\vert \frac{d}{dy}U^{-1}(y) \right\vert$ 를 갖는다. 모든 $y$ 에 대해 $P(Y = y) = 0$ 이기 때문에 연속적인 경우는 더 많은 주의를 요한다. 확률 밀도 함수 $f(y)$ 는 $y$ 를 포함하는 사건의 확률로서의 설명을 갖지 않는다.
$\quad$ 이 절에서 지금까지 우리는 일변수(univariate) 변수 변환을 연구해 왔다. 다변량(multivariate) 확률 변수의 경우도 유사하지만, 다변량 함수에는 절댓값을 사용할 수 없다는 사실 때문에 복잡해진다. 대신, 우리는 자코비안 행렬의 행렬식(determinant of the Jacobian matrix)을 사용한다. (5.58)식에서 자코비안이 편미분들의 행렬이며, 0이 아닌 행렬식이 존재한다는 것은 자코비안의 역행렬을 구할 수 있음을 보여준다는 것을 상기하라. 우리의 미세 구간들(부피를 가진 정육면체들)이 자코비안에 의해 평행육면체(parallelepipeds)로 변환되기 때문에 행렬식이 등장한다는 4.1절의 논의를 상기하라. 다변량 변수 변환에 대한 레시피를 제공하는 다음 정리에서 앞선 논의를 요약해 보자.
정리 6.16. [Billingsley (1995)의 정리 17.2] $f(\boldsymbol{x})$ 를 다변량 연속 확률 변수 $X$ 의 확률 밀도 값이라고 하자. 만약 벡터값 함수 $\boldsymbol{y} = U(\boldsymbol{x})$ 가 $\boldsymbol{x}$ 의 도메인 내의 모든 값에 대해 미분 가능하고 가역적이라면, 대응하는 $\boldsymbol{y}$ 값들에 대해 $Y = U(X)$ 의 확률 밀도는 다음과 같이 주어진다.
$\quad$ 이 정리는 언뜻 보기에 위협적으로 보이지만(모든 정리는 위협적이었다.), 핵심은 다변량 확률 변수의 변수 변환이 일변수 변수 변환의 절차를 그대로 따른다는 것이다. 먼저 우리는 역변환을 구하고, 그것을 $\boldsymbol{x}$ 의 밀도 함수에 대입해야 한다. 그런 다음 자코비안의 행렬식을 계산하고 그 결과를 곱한다. 다음 예제는 이변량(bivariate) 확률 변수의 경우를 보여준다.
예제 6.17
상태 $\boldsymbol{x} = \begin{bmatrix} x_1 \ x_2 \end{bmatrix}$ 와 다음의 확률 밀도 함수를 가지는 이변량(bivariate) 확률 변수 $X$ 를 고려하자.
우리는 확률 변수의 선형 변환([2.7절])의 효과를 도출하기 위해 정리 6.16의 변수 변환 기법을 사용한다. 다음과 같이 정의된 행렬 $\boldsymbol{A} \in \mathbb{R}^{2 \times 2}$ 를 고려하자.
우리는 상태가 $\boldsymbol{y} = \boldsymbol{A}\boldsymbol{x}$ 인 변환된 이변량 확률 변수 $Y$ 의 확률 밀도 함수를 찾는 데 관심이 있다.
$\quad$ 변수 변환을 위해 $\boldsymbol{y}$ 의 함수로서 $\boldsymbol{x}$ 의 역변환이 필요함을 상기하라. 우리가 선형 변환을 고려하고 있으므로, 역변환은 행렬의 역행렬로 주어진다([2.2.2절] 참조). 2x2 행렬의 경우, 우리는 다음과 같이 주어지는 공식을 명시적으로 쓸 수 있다.
$ad - bc$ 가 $\boldsymbol{A}$ 의 행렬식([4.1절])임을 관찰하라. 대응하는 확률 밀도 함수는 다음과 같이 주어진다.
벡터에 대한 행렬 곱 벡터의 편미분은 행렬 그 자체이며([5.5절]), 따라서
4.1절에서 역행렬의 행렬식은 원 행렬식의 역수와 같으므로 자코비안 행렬의 행렬식은 다음과 같음을 상기하라.
이제 우리는 (6.148)과 (6.150)을 곱함으로써 정리 6.16의 변수 변환 공식을 적용할 수 있으며, 이는 다음을 산출한다.
$\quad$ 예제 6.17은 행렬의 역행렬을 쉽게 계산할 수 있게 해주는 이변량 확률 변수에 기초하고 있지만, 앞선 관계는 더 높은 차원에서도 성립한다.
주의 (Remark). 우리는 6.5절에서 (6.148)의 밀도 $f(\boldsymbol{x})$ 가 사실 표준 정규 분포(standard Gaussian distribution)이며, 변환된 밀도 $f(\boldsymbol{y})$ 는 공분산 $\boldsymbol{\Sigma} = \boldsymbol{A}\boldsymbol{A}^\top$ 를 가지는 이변량 정규 분포임을 보았다.
_다변량 정규 분포의 수식에는 공분산 행렬 $\boldsymbol{\Sigma}$ 가 포함되어 있는데, 식 6.145의 지수 함수 내부에는 $-\frac{1}{2}\boldsymbol{x}^\top \boldsymbol{x}$ 만 있는데, $\boldsymbol{x}^\top \boldsymbol{x}$ 는 $\boldsymbol{x}^\top \boldsymbol{I} \boldsymbol{x}$ 와 동치이다. 즉, 이 분포는 공분산 행렬이 항등행렬인 매우 특수한 경우이며, 이는 $x_1$ 과 $x_2$ 가 서로에게 아무런 영향을 미치지않는 통계적 독립이다. 또한 둘 다 분산이 1인 ‘표준 정규 분포’를 따른다는 것을 뜻한다.
내적 $\boldsymbol{x}^\top \boldsymbol{x}$ 를 전개하면 $x_1^2 + x_2^2$ 가 되는데, 기하학적으로 2차원 평면 위에서 $x_1^2 + x_2^2 = c$ (상수)를 만족하는 점들의 집합은 원이다. 따라서 원본 확률 변수 $X$ 의 확률 밀도는 $(0,0)$ 을 중심으로 대칭을 이루며 퍼진 동심원 형태의 산봉우리를 형성한다._
_이변량 정규분포는 다음과 같다.
이를 식 (6.151b)와 비교해보자.
$(\boldsymbol{A}^\top)^{-1} \boldsymbol{A}^{-1} = (\boldsymbol{A}\boldsymbol{A}^\top)^{-1}$ 이므로 확률 변수 $Y$ 의 공분산 행렬은 $\boldsymbol{\Sigma} = \boldsymbol{A}\boldsymbol{A}^\top$ 이다.
또한 $\sqrt{\det(\boldsymbol{\Sigma})} = \sqrt{\det(\boldsymbol{A}\boldsymbol{A}^\top)}$ 이므로
원본 확률 변수 $X$ 는 독립적인 표준 정규 분포를 따르므로, 기하학적으로 원형의 등고선을 가진다. 여기에 선형 변환 행렬 $A$ 를 곱하여 $Y$ 로 치환하는 순간, $y_1$ 과 $y_2$ 사이에 상관관계가 발생하며 축이 기울어지고 늘어나는 ‘공분산( $\Sigma = AA^\top$ )’이 형성되는데, 원이 타원으로 찌그러졌으므로 그 면적또한 변하게 된다. 이때 확률 밀도 함수를 전 구간에 대해 적분한 값이 1이어야 하므로 면적의 변화의 역수인 $\vert \det(A)\vert ^{-1}$ 만큼 곱해져야 한다._
$\quad$ 우리는 8.4절에서 확률적 모델링을 설명하고 8.5절에서 그래픽 언어를 도입하기 위해 이 장의 아이디어들을 사용할 것이다. 우리는 9장과 11장에서 이러한 아이디어들의 직접적인 기계 학습 응용을 보게 될 것이다.